Het kasteel van Warfusée is een van de mooiste voorbeelden van de architectuur in België in Lodewijk XV stijl. Het werd opgetrokken in 1754 in de geest van de tijd door architect Jean-Gilles Jacob in opdracht van Florent d’Oultremont. De Franse invloed is onmiskenbaar. Een fraai staaltje Luikse Louis XV architectuur met wat Beierse fantasietjes, om het geheel wat op te vrolijken.
Het kasteel was vanaf 1763 de prinsbisschoppelijke residentie met de benoeming van graaf Charles Nicolas d'Oultremont tot prins-bisschop van Luik.
Het ontstaan van de heerlijkheid Warfusée valt samen met het begin van de feodaliteit. In de 12de eeuw behoort ze toe aan de machtige familie Dommartin, van wie de huidige eigenaars afstammen door het huwelijk van Maria van Warfusée, een Dommartin, met Ottar van Wamant, bijgenaamd d’Oultremont. In 1540 komt het goed in bezit van familie van Renesse. In 1857 koopt Theodoor van Beieren de heerlijkheid en het graafschap Warfusée van zijn neven de Renesse. Door huwelijk van Marie Isabelle van Beieren met Jean Francois d’Oultremont in 1706, wordt de heerlijkheid en het graafschap definitief eigendom van de familie d’Oultremont.